Aufgabenanalyse

1. Schwierigkeit und Trennschärfe

Die Qualität einer Aufgabe lässt sich anhand der Kennzahlen Schwierigkeit und Trennschärfe beurteilen. Die Schwierigkeit beantwortet die Frage, wie gross der Anteil der TeilnehmerInnen eines Tests ist, der die Aufgabe falsch gelöst hat. Die Trennschärfe beschreibt, wie gut eine Aufgabe zwischen den insgesamt besseren und schlechteren TeilnehmerInnen eines Tests trennt?

Wir berechnen die beiden Kennzahlen am folgenden Beispiel: 

Gegeben sei eine Aufgabe, die von 200 TeilnehmerInnen bearbeitet worden ist. Von der insgesamt besseren Hälfte der Absolventen haben die Aufgabe 60 richtig gelöst (br). Von der schlechteren Hälfte haben hingegen nur 30 die Aufgabe richtig gelöst (sr).

Die Schwierigkeit der Aufgabe ist (200 - (60+30)) / 200 = 0.55. 55% der Studierenden haben also die Aufgabe nicht gelöst. Je mehr TeilnehmerInnen eine Aufgabe falsch lösen, desto grösser ist die Schwierigkeit. Die Trennschärfe ist 100%, wenn eine Aufgabe perfekt zwischen der insgesamt besseren und der insgesamt schlechteren Teilnehmerhälfte trennt. In diesem seltenen Fall lösen alle besseren Teilnehmer die Aufgabe richtig und alle schlechteren Teilnehmer die Aufgabe falsch. Die entsprechende Kennzahl berechnet sich wie folgt: Wenn n die Gesamtzahl der Teilnehmer ist, so lautet die Formel (br-sr) / n/2. Im obigen Beispiel ist deshalb die Trennschärfe (60-30) / 100 = 0.3.

Allgemein werden die beiden Kennzahlen wie folgt definiert:

Zusammenfassend:

• Schwierigkeit = Falschlösungen / Lösungen

• Trennschärfe = (Richtiglösungen aus besserer Hälfte - Richtiglösungen aus schlechterer Hälfte) / Hälfte

Eine Aufgabe mit hoher Trennschärfe trennt gut zwischen besseren und schlechteren Teilnehmern. Ein Test aus Aufgaben mit niedriger Trennschärfe ist nicht selektiv. Ein nicht selektiver Test kann aber trotzdem sinnvoll sein - zum Beispiel dann, wenn er - zwar ohne zu selektieren - nachweisen soll, dass eine Mehrheit der Teilnehmer die Lernziele erreicht hat. Eine maximale Trennschärfe wird durch eine mittlere Aufgabenschwierigkeit ermöglicht. Eine Aufgabe, die fast keine oder fast alle Teilnehmer lösen können, beschränkt die Trennschärfe von vornherein.

Beachten Sie deshalb bei der Aufgabenauswahl die folgenden Regeln:

1. Bevorzugen Sie Aufgaben mittlerer Schwierigkeit. Entfernen Sie zum Beispiel Aufgaben mit einer Schwierigkeit von weniger als 0.25 und von mehr als 0.75 aus der Testdatenbank.

2. Entfernen Sie Aufgaben ungenügender Trennschärfe aus der Testdatenbank. Entfernen Sie zum Beispiel Aufgaben mit einer Trennschärfe von weniger als 0.3 (Die Trennschärfe kann negativ werden, wenn br < sr, und 0, wenn br = sr).

2. Distraktorenanalyse in Mehrfachwahl-Aufgaben

Neben der Berechnung von Schwierigkeit und Trennschärfe bietet sich für Mehrfachwahl-Aufgaben die sogenannte Distraktorenanalyse an. Distraktoren sind falsche Mehrfachwahlalternativen. Wird ein Distraktor nie oder selten angekreuzt, bezeichnet man ihn als "Känguruh". Je mehr Känguruhs (unattraktive Distraktoren) in einer Mehrfachwahl-Aufgabe vorkommen, desto grösser wird die Ratewahrscheinlichkeit. Ziel der Distraktorenanalyse ist es, Mehrfachwahlaufgaben so lange zu verbessern, bis die Ratewahrscheinlichkeiten aller Alternativen etwa gleich sind.

Beachten Sie deshalb bei der Aufgabenauswahl die folgende Regel:

3. Verbessern Sie Distraktoren, die von weniger als 10% der Testteilnehmer markiert wurden.

3. Operationalisierung in TESTVERWALTUNG

Die Tabelle beschreibt den Weg, den TESTVERWALTUNG bei der Berechnung der Kennzahl einschlägt.

Der Begriff der "richtigen Lösung" in der Trennschärfen-Definition ist nur für Mehrfachwahlaufgaben eindeutig. Eine Mehrfachwahlaufgabe mit genau einer richtigen Alternative ist immer entweder richtig oder falsch. Zuordnungs- und Essayaufgaben sind hingegen meist nur mehr oder weniger richtig. Bei Zuordnungsaufgaben besteht ein Ausweg darin, für jedes Zuordnungspaar eine Trennschärfe zu berechnen. Eine andere Möglichkeit bezeichnet Zuordnungs- und Essaylösungen dann als richtig, wenn sie einen bestimmten Punktwert nicht unterschreiten. TESTVERWALTUNG berechnet nur die Trennschärfe ganzer Mehrfachwahlaufgaben und einzelner Zuordnungsalternativen.

4. Schwellenwerte der Aufgabenkennzahlen

Die Tabelle nennt die Bedingungen, unter denen TESTVERWALTUNG einen Kennzahlwert orange markiert.

Punkteverteilung

Notenverteilung

Teilnehmeranalyse